# Bi-LSTM

**Bi-LSTM**(Bidirectional Long Short-T Memory, 양방향 장단기 메모리)은 순환 신경망(Recurrent Neural Network, RNN)의 한 변형으로, 시계열 데이터 또는 순차적 데이터를 처리할 때 과거와 미래의 정보를 동시에 활용할 수 있도록 설계된 신경망 모델이다. 자연어 처리(NLP), 음성 인식, 생물정보학 등 다양한 분야에서 널리 사용되며, 특히 문맥을 정확히 이해해야 하는 작업에서 뛰어난 성능을 발휘한다.

## 개요

LSTM은 기존 RNN이 가진 **기울기 소실 문제**(vanishing gradient problem)를 해결하기 위해 고안된 구조로, 장기적인 의존성을 효과적으로 학습할 수 있다. 그러나 전통적인 LSTM은 입력 시퀀스를 **단방향**(unidirectional)으로 처리하므로, 각 시점에서의 출력은 오직 이전 시점의 정보만을 기반으로 한다. 이는 문장 분석과 같은 작업에서 현재 단어의 의미를 파악할 때 뒤에 오는 단어(미래 정보)의 맥락을 반영하지 못하는 한계를 초래한다.

이러한 문제를 해결하기 위해 **Schuster와 Paliwal**(1997)이 제안한 Bi-LSTM은 **두 개의 독립적인 LSTM 레이어**를 사용하여 입력 시퀀스를 **정방향**(forward)과 **역방향**(backward)으로 각각 처리한다. 이를 통해 각 시점에서 모델은 과거와 미래의 정보를 모두 고려할 수 있으며, 보다 풍부한 문맥 표현을 가능하게 한다.

## 구조와 동작 원리

### 기본 구조

Bi-LSTM은 두 개의 LSTM 레이어로 구성된다:

- **정방향 LSTM**(Forward LSTM): 입력 시퀀스를 처음부터 끝까지 순차적으로 처리.
- **역방향 LSTM**(Backward LSTM): 입력 시퀀스를 끝부터 처음까지 역순으로 처리.

각 시점 \( t \)에서 정방향 LSTM은 \( \overrightarrow{h_t} \)를, 역방향 LSTM은 \( \overleftarrow{h_t} \)를 출력하며, 최종적으로 두 출력을 결합하여 전체 은닉 상태 \( h_t = [\overrightarrow{h_t}; \overleftarrow{h_t}] \)를 생성한다. 여기서 \( [\cdot;\cdot] \)는 벡터 결합(concatenation)을 의미한다.

예를 들어, 문장 "오늘 날씨가 참 좋다"를 처리할 때:
- 정방향 LSTM은 "오늘" → "날씨가" → "참" → "좋다" 순으로 정보를 전달.
- 역방향 LSTM은 "좋다" → "참" → "날씨가" → "오늘" 순으로 정보를 전달.
- 각 단어 위치에서 두 방향의 정보가 결합되어, 예를 들어 "참"이라는 단어는 앞의 "오늘 날씨가"와 뒤의 "좋다" 모두의 영향을 받는다.

### 내부 구성 요소

Bi-LSTM의 각 LSTM 셀은 다음과 같은 게이트 구조를 가진다:
- **입력 게이트**(Input Gate): 새로운 정보를 셀 상태에 반영할지 결정.
- **망각 게이트**(Forget Gate): 기존 셀 상태의 정보를 유지할지 버릴지 결정.
- **출력 게이트**(Output Gate): 현재 출력값을 결정.

이 구조는 정방향과 역방향 레이어 각각에 독립적으로 존재하며, 학습 과정에서 각각의 파라미터가 업데이트된다.

## 주요 활용 분야

### 자연어 처리(NLP)

Bi-LSTM은 NLP의 다양한 작업에서 핵심적인 역할을 한다.

- **개체명 인식**(Named Entity Recognition, NER): 문장 내의 사람, 장소, 기관 등을 식별할 때, 주변 단어의 문맥이 중요하므로 Bi-LSTM이 효과적이다.
- **품사 태깅**(POS Tagging): 각 단어의 품사를 결정할 때 앞뒤 단어의 정보를 활용.
- **의미 역할 분석**(Semantic Role Labeling), **의존 구문 분석**(Dependency Parsing) 등에서도 높은 정확도를 기록.

### 음성 인식

음성 신호는 시간에 따라 변화하는 시퀀스 데이터로, Bi-LSTM은 음소 단위의 특징 추출 및 음성 인식 모델에서 과거와 미래의 음향 패턴을 모두 고려하는 데 유리하다.

### 생물정보학

DNA 서열 또는 단백질 서열 분석에서 특정 위치의 아미노산이 주변 서열에 의해 영향을 받는 경우, Bi-LSTM은 이러한 상호작용을 모델링하는 데 사용된다.

## 장점과 한계

### 장점

- **풍부한 문맥 정보**: 과거와 미래 정보를 동시에 활용하여 보다 정확한 예측 가능.
- **기울기 소실 완화**: LSTM 구조 자체가 장기 의존성을 잘 처리하며, 양방향 구조가 이를 보완.
- **다양한 시퀀스 작업에 적용 가능**: 분류, 생성, 번역 등 다양한 태스크에 유연하게 적용.

### 한계

- **계산 비용 증가**: 두 개의 LSTM을 병렬로 실행하므로 단일 LSTM보다 약 2배의 메모리와 계산량 필요.
- **실시간 처리 어려움**: 역방향 처리를 위해 전체 시퀀스를 사전에 알고 있어야 하므로 스트리밍 환경에 부적합.
- **더 깊은 모델에 비해 성능 제한**: 최근에는 트랜스포머 기반 모델(예: BERT)이 Bi-LSTM보다 더 뛰어난 성능을 보이기도 함.

## 관련 모델 및 발전 방향

Bi-LSTM은 이후 다양한 모델의 기반이 되었다:
- **Bi-LSTM + CRF**: 시퀀스 레이블링 작업에서 Bi-LSTM의 출력에 조건부 확률 필드(CRF)를 결합하여 레이블 간 전이 확률을 모델링. NER 등에서 널리 사용.
- **Bi-LSTM + Attention**: 어텐션 메커니즘을 추가해 중요한 시점에 더 집중하도록 함.
- **Bi-GRU**: LSTM 대신 GRU(Gated Recurrent Unit)를 사용한 양방향 모델로, 계산 효율성을 높임.

최근에는 트랜스포머 아키텍처가 등장하면서 Bi-LSTM의 사용 빈도가 감소하고 있으나, 계산 자원이 제한된 환경이나 비교적 짧은 시퀀스를 처리하는 경우 여전히 효과적인 선택지로 여겨진다.

## 참고 자료

- Schuster, M., & Paliwal, K. K. (1997). "Bidirectional recurrent neural networks". *IEEE Transactions on Signal Processing*.
- Hochreiter, S., & Schmidhuber, J. (1997). "Long short-term memory". *Neural Computation*.
- Graves, A., & Schmidhuber, J. (2005). "Framewise phoneme classification with bidirectional LSTM and other neural network architectures". *Neural Networks*.

> Bi-LSTM은 순차 데이터 처리의 역사에서 중요한 전환점이었으며, 현재까지도 많은 연구와 응용에서 그 가치를 인정받고 있다.